Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
Transformer 能同时持有两种思想：LLM 线性叠加的证据
🧭 Transformer 可解释性与推理加速
证明 LLM 输入端线性组合会产生输出分布叠加，并提出引导解码实现单次前向生成两条连贯续写
📌 工作参考价值（4 点）
- 推理加速：借鉴引导解码同时解耦叠加输出，可在一次前向中生成多个候选 query/文案，用于搜索推荐场景的多路召回或 A/B 文案测试，降低 GPU 成本。
- 多意图融合：若模型经轻量微调恢复叠加线性，可混合多个意图 prompt embedding（如“品牌词+品类词”），再用解码约束得到多条符合不同意图的结果，适合电商搜索 query 推荐。
- 可落地微调：叠加线性随预训练减弱但能通过轻量微调恢复，业务模型可以用少量数据进行微调，使多流输入并行处理成为可能，从而支持 Agent 同时处理多个子任务。
- 注意边界：该线性性质与训练程度相关，实际部署前需在自有模型上验证；建议在微调阶段加入保持叠加线性的正则项或混合训练数据。